DRKSpider - это сканер сайтов с открытым исходным кодом (генератор карт сайта)
и средство проверки ссылок.

Функции:

Создает дерево сайта, соответствующее иерархии навигации сайта.
Экспортер файлов Sitemap для поисковой оптимизации: создание карт сайтов для
Google, Yahoo и других систем.
Подробная информация о каждой найденной ссылке.
Несколько вариантов ограничения сканирования.
Окно результатов проверки сайта.
Команда экспорта позволяет экспортировать в формат CSV для дальнейшей
обработки.
Команда Preferences в меню File для сохранения настроек DRKSpider.
Исключить список слов для URL, исключая.
Поддержка прокси-сервера.
Управление кешем интернет-системы.
Реферер информационного поля управления.
Бинарный дистрибутив установки (установка NSIS)
HTML Validator от World Wide Web Consortium добавлен в диалог свойств ссылки.
Надстройка SWFRIP для анализа содержимого SWF (исходный код SWFRIP).
Поиск в Интернете для любого элемента дерева.
Создает файл карты сайта для поисковой оптимизации (SEO).